
# 特征工程
"""
- 字典特征的提取
- 文本特征的提取 
    - 词频统计 , 计数
    - tfidf
- jieba 分词 对于中文分词的处理
- 数据处理
    - 归一化 将数据缩放到指定的区间
    - 标准化 将数据表征一种稳定的正态分布数据 均值为0 方差 1
    - 缺失值的处理
    - 删除低方差的数据
    - pca降维 主成分的提取操作

"""


# 监督学习

    # 分类
    """
        - k-近邻 欧式距离 小量的数据样本,特征比较少,才会有比较好的预测结果
        - 朴素贝叶斯算法 条件之间应该相互独立
            - 联合概率 P(A, B) P(A) * P(B)
            - 条件概率 P(A1,A2 | B) P(A1/B) * P(A2/B)
            - 贝叶斯的公式
            - 适用的场景: 文档分类 情感分析, 需要对于文档做tfidf的特征提取
            
        - 交叉验证, 网格搜索
            - 交叉验证: 让所有的数据都参与训练, 可以指定几折交叉严重
            - 网格搜索: 一次性指定多个超参数, 来进行模型的训练, 最终得到一个左右的超参数的模型
            
        - 评估标准:
            - 精确率
            - 召回率
            - f1-score
            - score 准确率
            
        - 决策树
            - 信息熵
            - 信息增益
                - cart
                - C4.5
                - gini系数
            - 出现过拟合的问题: 降低树的深度 泛化操作
            
        - 随机森林
            - 指定有多少棵决策树
            - 有 n 个特征 依次获取n次数据, 并且训练完之后有放回, 选取m个特征来进行训练
            - 每一棵决策树都会能够对弈一个样本的结果进行预测, 最后通过预测的结果的众数来决定结果
            
        - 逻辑回归
            - sigmod函数: 将回归的问题的得到的预测值转换到 0 ~ 1之间, 通过设定的阈值来判断是正列是反例
            - 比较适用解决二分类的问题, 不适用解决多分类的问题
            
    """
    # 回归

    """
        - 线性回归:
            - 如果求得线性回归的最小误差:
            1. 正规方程
            2. 梯度下降
            
        - 岭回归
            - 正则化的粒度
            - l2
            - alpha的超参数: 当参数越大的时候 高次项的权重值w越小
            - RidgeCV()
    """



# 非监督学习

    # KMeans
    # 数据特征: 没有目标值, 只有特征值
    # 根据数据的特征值: 对数据进行分类擦做
    # 一般是在分类操作之前就需要进行聚类操作